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(57) Abstract 



The invention relates to an image improvement system in ac- 
cordance with application DEI 963 141 4. Said system is characterized 
in that the reflex image in the interior of the eye is scanned on the 
retina (NH) and, after modification, is projected back into the eye by 
the same path. The invention proposes using an elliptical scan. 

(57) Zusammenfassung 

Bei einem Bildverbesserungssystem nach Anmeldung 
DEI 963 141 4, bei dem das Reflexbild im Inneren des Auges auf der 
Netzhaut (NH) abgetastet und nach Modifikation auf dem gleichen 
Weg in das Auge zuruckprojiziert wird, wird die Verwendung eines 
Ellipsenscans vorgeschlagen. 
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Verfahren zur Verbesserung des optischen Wahmehmungsvermogens durch 
Modifikation des Netzhautbildes 

Die Erfindung betrifft eine Brille, mit deren Hilfe uber eine Ruckspiegelung 
an der Innenseite derselben das Netzhautreflexbild des Auges bei 
unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen, mit 
einem Computer modifiziert und uber eine Beleuchtungseinrichtung und eine 
Ruckreflexion iiber die gleiche Brille physiologisch verzogerungsfrei dem 
urspriinglichen Bild so uberlagert wird, daB ein verbesserter Seheindruck 
entsteht. 

Die Verwendung von optoelektronischen Brillen zur Spiegelung von 
computergenerierten Bildem ins Auge mit den Namen „cyberspace" oder 
„ virtual reality" nimmt heute rasant zu. Diese Technik ist sowohl fur die 
Anwendung in der Unterhaltungsindustrie als auch in den verschiedenen 
Gebieten der Industrie, Verkehr und Medizin von breitem Nutzen und wird 
mit der Verfugbarkeit von immer schnelleren Bildverarbeitungscomputern an 
Verbreitung und Bedeutung standig zunehmen. 

Am weitesten verbreitet ist die Anwendung mit geschlossenen, nicht 
transparenten Brillen, bei der Bilder von miniaturisierten 
Kathodenstrahlrohren oder Flussigkristall-Matrizen iiber Spiegel- oder 
Glasfasersysteme dem Auge dargeboten werden. Die besondere Attraktivitat 
dieser Technik ist es, mit bewegter dreidimensionaler Bilddarstellung, den 
Bildablauf oder die Handlung mit verschiedenen Bewegungen des 
Brillentragers zu koppeln. So wird eine Anderung der Blickrichtung durch 
Kopfbewegung oder Anderung der Perspektive bei fortschreitender 
Bewegung nachgebildet. Es konnen die Bewegungen der Arme und Finger 
des Brillentragers mit Hilfe von Sensoren in das Bild eingebracht werden, um 
ihm die Moglichkeit des direkten Eingreifen in die Handlung zu ermoglichen. 

In neueren Systemen mit dem Namen „augmented reality" kann der 
Brillentrager mit Hilfe teiltransparenter Brillen sowohl die Umgebung als 
auch ein uber die Brille eingespiegeltes Bild von Kameras von der gleiche 
Szene oder von anderen Bildinhalten iiber einen miniaturisierten Monitor am 
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Helm betrachten. Eine wohlbekannte Variante dieses Verfahrens ist bei der 
Fuhrung von Kampflugzeugen mit dem Namen Helmet-mounted-display 
(HMD) bereits eingefuhrt. 

Bei dieser Techniken sind jedoch mehrere Probleme bekannt, die auf die 
Wirkungsweise des Gesichtsinnes zuriickzufuhren sind und auf verbesserte 
technische Losungen warten. Bei einer geschlossenen Brille und einem starr 
gekoppelten Monitor und Monitorbild bewegt sich bei einer Kopfbewegung 
des Brillentragers die Szene in gleicher Richtung mit, was seinen 
Sehgewohnheiten in unnaturlicher Weise widerspricht. Er ist durch die 
Abbildung des Auges gewohnt, daB die Szene gerade in entgegengesetzter 
Richtung verlauft Dieses Problem konnte durch die umstandliche Messung 
der Kopfbewegung und des Augapfels mit extemen Drehwinkelsensoren, 
einer entsprechenenden Bildverarbeitung und Nachfuhrung des generierten 
Bildes bis jetzt nur unvollkommen geldst werden. 

Durch Anpassungsbewegungen des Augenapfels, die von sogenannten 
vestibularen okularen Reflexen (VOR) des Ohren-Bogengang-Systems 
ausgehen und dem Festhalten des Fixationspunktes bei Kopfbewegungen 
dient, ist das Auge selbst in der Lage, das Netzhautbild grob zu stabilisieren. 
Die Feineinstellung geschieht mit dem Bild als Referenz. Dieses Bild- 
Tracking wird zusatzlich vom Auge verwendet, um die VORs einer 
dynamischen Augenausrichtung zu adaptieren. 

Dies bedeutet, daB eine Uberlagerung von Fremdbildem erst bei ihrer 
Ankopplung an das reale Netzhautbild einen wirklichkeitsgetreuen 
Bildeindruck geben kann. 

Bei geschlossenen Brillen wird versucht das Bild der BlutgefaBe 
(Augenhintergrund) als Referenz zu verwenden (Retina-Tracking). Das 
liefert allerdings nur eine ungenugende Auflosung und ist ausschlieBlich flir 
monokulare Betrachtungen geeignet (siehe z.B. E.Peli, „Visual issues in the 
use of a head-mounted monocular display", Optical Engineering, vol. 29, 
No. 8, p. 883 (1990). Eine gleichzeitige Stabilisierung in beiden Augen von 
Bildem mit diesen ist wegen der unterschiedlichen Ausrichtung der Augen 
praktisch unmoglich. Neben der Verschlechterung der Bildqualitat, fiihrt der 
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Konflikt zwischen den vestibularen und visuellen Informationen haufig zu 
Bewegungsstorungen bis hin zur Seekrankheit. Diese Probleme der 
bestehenden Technik werden z.B. in dem Ubersichtsartikel von E. Peli, „Real 
Vision & Virtual Reality" in Optics & Photonics News, July 1995, s. 28-34 
beschrieben. 

Aufgabe der Erfindung ist es, die Probleme der Bildstabilisierung bei 
Uberlagerung von Fremdbildern mit dem realen Bild zu losen. 

Der Erfindung liegt die altere deutsche Patentanmeldung 1963 1414 mit der 
Bezeichnung: „Vorrichtung zur Aufhahme des Netzhautreflexes und 
Uberlagerung von Zusatzbildern im Auge" zugrunde. In dieser wird eine 
Vorrichtung beschrieben, mit der das Netzhautreflexbild mit Hilfe eines 
konfokal abbildenden, zweiachsigen Scansystems iiber die Reflexion der 
Innenseite einer teiltransparenten und entsprechend gewolbten Brille, seriell 
mit einem hochempfindlichen Photodetektor aufgenommen wird. 

Darin wird vorgeschlagen, mit Hilfe von Lasem und eines Strahlenteilers 
uber denselben Lichtweg in umgekehrter Richtung wie das aufgenommene 
Bild das verbesserte Bild auf die Netzhaut seriell abzubilden. 

Dariiber hinaus wird auch die Moglichkeit eroffhet, andere Bilder zusatzlich 
auf die Netzhaut zu uberlagern. 

Mit dieser Technik sind die vorgenannten Probleme grundsatzlich gelost, 
jedoch wurden konkrete Realisierungen und Anwendungen nicht angegeben. 
Der Grundgedanke der neuen Erfindung dieses Verfahren zur Verbesserung 
des Wahmehmungsvermogens des Auges einzusetzen. Die physikalisch- 
technischen Probleme, die dazu gelost werden miissen, ergeben sich aus den 
physiologischen Eigenschaften des Auges und den standig variierenden 
Beleuchtungsverhaltnissen in der Umgebung. Das Auge ist wegen der 
variablen Lichtverhaltnisse und der unterschiedlichen optischen Aufgaben in 
seinen Grundfunktionen ein sehr dynamisches Sinnesorgan. Es adaptiert sich 
an die Variation der Intensitat der Hintergrundbeleuchtung iiber 12 Dekaden. 
Es schaltet vom Farbsehen beim Tageslicht auf reines schwarz/weiB Sehen in 
der Nacht um. Licht in dem Wellenlangenbereich 400 -1500 nm wird von 
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dem Auge transmittiert und auf die Netzhaut abgebiidet. Dabei wird nur 
Licht im Bereich von 400 nm bis 750 nm wahrgenommen, d.h. das infrarote 
Licht im Bereich von 750-1500 nm, das sowohl bei AuBen- als auch 
Innenbeleuchtung sehr hell ist, bleibt fur die visuelle Wahmehmung 
ungenutzt 

Das Auge erfaBt horizontal und vertikal einen Winkelbereich von etwa 100°. 
Die Bildauflosung nimmt jedoch mit dem Winkelabstand von der Sehachse 
sehr schnell ab. Das aufmerksame momentane Sehen ist auf einen zentralen 
Winkelbereich von nur +/-5° begrenzt und das „scharfe" Sehen, z.B. beim 
Lesen oder Autofahren, ist auf den sehr geringen zentralen Winkelbereich 
von +/- 0,5° begrenzt. Hinzu kommen standig verschiedenartige Bewegungen 
der Augen. Dies fuhrt zu folgenden Konsequenzen, die unter bestimmten 
Umstanden das Wahrnehmungsvermogen des Auges beeintrachtigen und die 
im Rahmen der neuen Erfindung verbessert werden sollen: 

Adaption 
Akkommodation 
Scharfeleistung 
Sehfehler 

Altersbedingte Minderleistung und 
Bewegungsdynamik 

Die Aufgabe der vorliegende Erfindung ist es nun, eine Anordnung 
vorzuschlagen, die ahnlich wie das Auge in ihren Grundfunktionen sehr 
variabel gestaltet und an die Erfordernisse des Sehvorgangs angepaBt ist, aber 
gleichzeitig die besondere Physiologie und Dynamik des Auges und die 
variierenden Beleuchtungsverhaltnisse der Umgebung und den unsichtbaren 
IR-Bereich beriicksichtigt und ausnutzt. Dies laBt sich mit den in der fruheren 
Erfmdungsmeldung angegebenen Abtast- und Scanvarianten (serieller 
Rasterscan, serieller Spiralscan) nur unzulanglich erreichen. Dies betrifft 
sowohl das Abtastmuster der Bildaufhahme des Netzhautreflexes als auch die 
Riickprojektion des Laserbildes in das Auge. 

Ein grundsatzliches Problem der seriellen gegeniiber der parallelen 
Bildabtastung ist die kurze Verweilzeit des Scanners in jedem Bildpixel. 
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Eine gleichmassige Abtastung z.B. von 0,5 Mio Bildpunkte in einer 
Abtastzeit von 40 ms bedeutet eine Integrationszeit von nur 0,08 |is d.h. 80 
ns in jedem Bildpunkt. Im Vergleich hierzu betragt die parallele 
Zeitintegration aller Bildpunkte des Auges selbst 10-20 ms. 

Wie aus der Anwendung von Lasern zur Aufhahme der Netzhautstruktur des 
Auges in den sogenannten Laser Scanning Ophthalmoskopen bekannt ist, ist 
eine Laserleistung von etwa 40 |iW notwendig, um beim Rasterscan ein 
Signal-Rausch-Verhaltnis von 17 aus einem Bildpixel zu erzielen (siehe z.B. 
A.Plesch, U. Klingbeil, and J. Bille, ^Digital laser scanning fundus camera", 
Applied Optics, Vol. 26, No 8. p. 1480-1486 (1987)). Umgerechnet auf die 
grofiere Flache wurde dies einer Bestrahlungsstarke in einem Abbild einer 
ausgedehnten Quelle auf der Netzhaut von 40 W /cm 2 entsprechen, was der 
Bestrahlungsstarke von hellen Scheinwerfern oder Sonne auf der Netzhaut 
entspricht, d.h. mit dem Rasterscan konnen erst relativ helle Quellen mit 
einem guten Signal-Rauschverhaltnis auf der Netzhaut aufgezeichnet werden. 
Um die Abbildung von schwacheren Quellen auf der Netzhaut zu detektieren, 
muB die Empfindlichkeit wesentlich gesteigert werden. 

Die serielle Bildabtastung hat jedoch fur die Aufhahme des Netzhautreflexes 
den entscheidenden Vorteil der besseren Unterdriickung von Streulicht, der 
einfacheren Aufhahmeoptik und der Moglichkeit der exakten Umkehrung des 
Strahlenganges bei der Bildriickprojektion mit einem Laser und soli aus 
diesen Griinden auch in dieser Erfindungsmeldung beibehalten werden. Eine 
Verlangerung der Verweilzeit kann aber durch Anderung des Scanmusters 
erreicht werden. 

Wegen der ungleichmassigen Verteilung der Photorezeptoren, mit der 
hochsten Dichte der Zapfen fur das scharfe Sehen im Zentrum der Netzhaut 
und dem entgegengesetzten Verlauf der Stabchen fur das unscharfe aber 
lichtempfindliche Nachtsehen, ist der Rasterscan keineswegs das optimale 
Scanmuster. Ein an den Sehvorgang angepaBtes Scanmuster sollte fur das 
Tagessehen in Richtung zum Zentrum zunehmend langsamer und dichter 
werden, fur die Anpassung an das Nachtsehen gerade umgekehrt. 
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Aufier der Verweilzeit kann das aufgenommene Signal durch Anderung der 
FleckgrOfle der Abtastung und damit auch der Bildauflosung beeinfluflt 
werden. 

Die Anzahl der Signalphotonen N s die von einem abtastenden 
Aufhahmegerat von der Netzhaut pro Bildpixel aufgenommen werden, kann 
nach der folgenden Formel berechnet werden: 

N s = (B T AX x) (A 0 R ) (S/2tc) (A p /D 2 ) (i/e) 

wobei 

B = die spektrale Bestrahlungsstarke auf der Netzhaut 

T = die optische Transmission von Netzhaut bis zum Photodetektor 

x = die Integrationszeit in einem Bildpixel auf der Netzhaut 

A 0 = die Flache des Bildpixels 

R = Reflexionsvermogen des Bildpixels 

AX - Spektrale Breite des Empfangssignals 

A p = Pupillenflache 

D = Abstand der Pupille zur Netzhaut 

S/27C = der Winkelverteilungsfaktor der optischen Riickstreuung der Netzhaut 
6 = Energie eines Photons bei der Aufhahmewellenlange 

bezeichnen. 

Wie diese Formel zeigt, konnen starkere Signale, d.h. eine groBere Anzahl 
von Signalphotonen durch folgende MaBnahmen am Aufhahmegerat 
gewonnen werden: 

Verlangerung der Verweildauer x des Scans in den einzelnen 
Bildpunkten, 

VergroBerung des Abtastflecks A 0 auf der Netzhaut 
VergroBerung der spektralen Bandbreite AX. 

Die Erfindung schlagt das Abtasten der Netzhaut in einer Abfolge von 
konzentrischen Kreisen vor (Kreismittelpunkt ist gleich Fovea centralis), 
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deren Radius sich sukzessive vergroBert bzw. verkleinert. Diese Art des 
Scannens wird als Kreisscan bezeichnet Wegen der Rotationssymmetrie der 
Augenlinse und der Pupille um die Sehachse und der rotationssymmetrischen 
Verteilung der Photorezeptoren in der Netzhaut ist der Kreisscan optimal. 

Die Erfindung schlagt weiterhin vor, daB ein identischer Kreisscan fur die 
Aufhahme des Netzhautreflexes von der Umgebung und die Bildprojektion 
mit dem Laser verwendet werden. Da beim Kreisscan von auBen bis zum 
Zentrum, nach dem Erreichen des Zentrums, die Scanachse den gleichen Weg 
riickwarts verlauft, kann wahlweise die Aufhahme beim Scan bis zum 
Zentrum und Projektion von Zentrum bis AuBen, oder die Aufhahme viber 
den gesamten Abtastvorgang und Projektion erst in einem zweiten verwendet 
werden. 

Bei einer konstanten Auslenkung von Scanspiegeln in zwei Richtungen 
(Lissajou-Figur) erfolgt beim Kreisscan zwangslaufig eine Verlangsamung 
der Verweildauer in Richtung zum Zentrum. Die Erfindung sieht jedoch vor, 
daB fur das Tagessehen die Scandauer benachbarter Kreiseje nach den 
Belichtungsverhaltnissen, noch zusatzlich verlangsamt und fur das 
Nachtsehen sogar beschleunigt werden kann. 

Aufgrund der ungleichmafligen Verteilung der Zapfen ttber die Netzhaut mit 
einer um mehr als zwei Dekaden hoheren Dichte im Zentrum kann die 
Abtastrate (Verweildauer pro Bildpunkt) in diesem Bereich um diesen 
Faktor, 100 erhoht werden. 

Fur das Nachtsehen mit der hoheren Verteilung der Stabchen mit 
zunehmenden Radius ist es sinnvoll, daB die Verweildauer entgegengesetzt 
nach AuBen in ahnlichem MaBe abnimmt. 

Wie dem Fachmann bekannt, laBt sich ein Kreisscan in analoger Ansteuerung 
mit periodisch schwingenden orthogonalen Scanspiegeln, oder in digitaler 
Ansteuerung durch Naherung an die Kreisspur mit einer hohen Anzahl von 
geraden Strecken. Als dritte Alternative bietet sich die Verwendung von 
programmierbaren Algorithmen analoger Ansteuersignale, die digital 
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aufgerufen werden kfinnen und am besten fur diese variblen Verhaltnisse am 
geeignet sind. 

Damit das Empfangssignal auch durch Vergrosserung des abgetasteten 
Bildflecks, proportional zu seiner Flache, zusatzlich erhOht werden kann, 
sieht die Erfindung ferner vor, daB die momentane BildpixelgroBe auf der 
Netzhaut zusatzlich zur Scangeschwindigkeit variabel eingestellt werden 
kann. 

Mit der Anderung der BildfleckgroBe wird auch die Bildauflosung 
entsprechend der Situation angepaBt. AuBer der Veranderung der 
Abtastflache kann die Auflosung durch variablen Radiensprung der 
Scanradien eingestellt werden. 

Mit einer VergroBerung des abtastenden Bildpixels von z.B. 10 (im auf 100 
|im wird z.B. die Bildauflosung von etwa 2 bis 20 Bogenminuten 
(Auflosungsbereich des Lesens und Betrachtens) um einen Faktor 10 
reduziert, gleichzeitig wird das empfangene Signal um einen Faktor 100 
erhoht. 

Wie dem Fachmann bekannt, ist bei der konfokalen Abtasten die 
Bildauflosung durch den Blendendurchmesser im Zwischenfokus vor dem 
Photodetektor bestimmt und kann durch seine Veranderung eingestellt 
werden. Die Erfindung sieht vor, daB hierftir Flufiigkristallblenden oder 
elektro-optische Blenden verwendet werden, damit diese Einstellung 
moglichst schnell, d.h. innerhalb eines Abtastzyklus, durchgefuhrt werden 
kann. 

Da der zeitliche Ablauf des Scannens und die GroBe des Bildpixels bei 
Aufhahme und Projektion moglichst identisch sein sollten, schlagt die 
Erfindung vor, daB die die Anderung des Scanverlaufs und Blendenregelung 
im Projektionskanal die gleiche ist wie im Aufiiahmekanal. Die Variation der 
optischen Integrationszeit und Bildpixelflache kann dann im 
Projektionskanal durch entsprechende Variation der Sendeleistung des Lasers 
kompensiert werden. 
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Die H6he des Empfangssignals ist weiterhin von der spektralen Bandbreite 
des Empftngers abhangig und kann durch ihre Verbreiterung erhfiht werden. 
Die Erfindung sieht vor, dafi im Bereich des hellen Tagessehen (photopisches 
Sehen) eine der Augenfarbempfindlichkeit entsprechende Aufspaltung des 
Strahlenganges in die Farbkanale Rot-Grun-Blau mit je einer spektralen 
Breite von etwa 100 nm vorgenommen werden kann. Dies ermoglicht eine 
farbechte Bildaufhahme und mit entsprechenden dreifarbigen Lasern eine 
farbliche Zuriickprojektion ins Auge. 

Bei einer schwacher Umgebungsbeleuchtung, bei der Farben nicht mehr vom 
Auge wahrgenommen werden (scotopisches Sehen) sieht die Erfindung die 
Zusammenlegung aller Kanale zu einem einzigen (schwarz/weifl) 
Empfangskanal ohne Farbauflosung vor. Weiterhin sieht die Erfindung vor, 
daB dieser Empfangskanal nicht nur den sichtbaren Bereich von 400 - 700 
nm, sondem zusatzlich den nahen infraroten Bereich von 700 - 1000 umfaBt. 

Dies bringt zur Erhohung des Empfangssignals bei schwacher 
Hintergrundbeleuchtung die folgenden Vorteile: 

das Auge hat zwischen 400 - 1000 nm voile Transparenz und bildet ein 
vergleichbares Bild zwischen 700 - 1000 nm wie zwischen 400 - 700 nm 
ab. 

der Reflexionsgrad der Netzhaut zwischen 700 - 1000 nm betragt 
R = 10 - 20% gegeniiber R = 3 - 5% zwischen 400 - 700 nm 

es sind Photoempfanger mit hohem Quantenwirkungsgrad wie 
Photomultiplier und Silizium-Avalanchedioden iiber den gesamten 
Spektralbereich von 400 - 1000 nm verfugbar 

Gluhlampen, die zur Innenbeleuchtung von Gebauden, bzw. im Freien 
zur StraBenbeleuchtung und bei Fahrzeugen verwendet werden, strahlen 
zwischen 700 -1000 nm 10 mal mehr Licht ab als zwischen 400 - 700 
nm. 
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das Reflexionsvermogen der Vegetation der Natur ist um einen Faktor 
5-10 zwischen 700 - 1000 nm hoher als zwischen 400 - 700 nm. 

Wie diese Beispiele zeigen, ist bei schwacher Beleuchtung (Nachtsehen) eine 
nochmalige Erhohung des Empfangssignals um einen Faktor 100 durch 
Erweiterung des Spektralbereiches moglich. 

Die Erweiterung des spektralen Bereiches kann entweder in jedem Gerat fest 
installiert sein oder durch Wechseln von spektralen Filtern variabel gestaltet 
werden. Wird eine Farbdarstellung nicht gefordet, ist es sinnvoll, griines 
Laserlicht fur die Ruckprojektion ins Auge, wegen der hochsten 
Empfindlichkeit und Kontrastwahrnehmung des Auges bei dieser Farbe, zu 
verwenden. 

Zusatzliche Methoden zur Signalverbesserung, die hier eingesetzt werden 
konnen, sind die Integration mehrerer aufeinanderfolgender Bilder und die 
Bildkorrelation, z.B. Bilder der beiden Augen. 

Insgesamt kann durch die Variation der zwei Parameter, der Verweilzeit des 
Scans in den Bildpixels und der GroBe des Bildflecks, mit Hinzunahme des 
infraroten Bereiches und der Verwendung von Bildkorrelation, eine gesamte 
Dynamik der Empfangssignale uber sieben Dekaden erfaflt werden. 

Bei einer gesamten optischen Transmission des Empfangskanals von T = 0,2 
(siehe Formel oben) umfaBt der Empfangbereich dieses dynamischen 
Aufhahmesystems Bestrahlungsstarken auf der Netzhaut zwischen 10" 5 
W/cm 2 und 100 W/cm 2 , was dem Bereich der typischen Innen- und 
AuBenhelligkeit umfaBt. 

Wegen der langsamen und schnellen Augenbewegungen ist es notwendig, 
das Scansystem so zu gestalten, daB es der Anderung der Sehachse durch die 
Brille standig folgt, d.h. daB die Symmetrieachse der Bildabtastung, sowohl 
bei der Aufhahme, als auch bei der Projektion, mit der Sehachse identisch ist. 

Die Erfmdung sieht zur Losung dieser Aufgabe vor, daB vor und nach der 
Abtastung des Netzhautreflexes bzw. der Bildprojektion ins Auge, eine 
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Zentrierung des Kreisscans auf der Augenpupille durchgefiihrt wird. Dabei 
wird der grdfite Abtastwinkel des Kreisscans so gewahlt, daB bei einer 
Ablage der Scansymmetrieachse von der Sehachse die AuBenflache des 
Augapfels, Sclera mit Regenbogenhaut und Pupillenoffiiung von dem 
Kreisscan erfaflt wird. Da diese Teile des Auges, die vom AuBenlicht gut 
ausgeleuchtet sind, nicht scharf, sondern diffus in der Bildzwischenebene des 
Photodetektors abgebildet werden, liefert das Empfangssignal hier keine 
Bildinformation, sondern eine integrale Anzeige uber das optische 
Riickstreuvermogen der Vorlage. 

Wenn die Empfangssignale tiber zeitlich gleich lange Abschnitte, z.B. 
Quadranten, aus jedem Kreis miteinander verglichen werden, sind sie nur 
dann von gleicher H6he, wenn die Achse des Kreisscans identisch ist mit der 
Augenachse (Sehachse). Signalunterschiede, wegen der unterschiedlichen 
Ruckstreuung aus Sklera, Regenbogenhaut und Pupillenoffiiung, sind dann 
ein MaB iiber die Achsenablage und ihre Richtung. Nach einer Normierung 
mit dem gesamten Empfangssignal tiber jeden Kreis konnen diese 
Ablagesignale zur Einstellung der Nullstellung eines nachsten Kreisscans 
(Bias) verwendet werden. Somit kann eine ursprungliche Ablage der Achsen 
mit jedem Kreisscan vermindert werden bis sie beim Eintauchen des 
Kreisscans durch die Pupillenoffiiung verschwindend gering wird 
(Pupillentracking). Fig. 1 zeigt schematisch den kozentrischen Scanvorgang 
bei justierten System, Fig. 2 stellt den Suchmode der Zentrierung des Scans 
durch die Augenpupille dar. 

Die Erfindung sieht alternativ zur Verwendung des Umgebungslichtes vor, 
daB auch mit der aktiven Beleuchtung der Laserprojektion ins Auge ein 
Pupillentracking im AuBenbezirken des Kreisscans, mit gleichzeitiger 
Signal aus wertung im Aufhahmekanal wie oben beschrieben, durchgefiihrt 
wird. 

Die Erfindung sieht auBerdem vor, daB auch wahrend der Laserbildprojektion 
das sowohl von der Umgebung als auch vom Laser zuriickgestreute Licht 
aufgenommen und ausgewertet wird. Diese gleichzeitige Aufhahme des 
Netzhautreflexes von der Umgebung und der nachbearbeitenden 
Laserbildprojektion eroffiiet die Moglichkeit, den Grad der Uberlappung und 
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die zeitliche Synchronisation beider Bilder standig zu uberpriifen, eventuelle 
Unterschiede als Bildinterferenzen (Moire-Muster) zu erkennen, um diese 
dann durch Korrektursignale nachtraglich zu kompensieren. 

Die Aufhahme und Projektionstechnik im Sinne der Erfindung kann 
entweder an einem Auge eines Betrachters oder an seinen beiden Augen 
gleichzeitig, unabhangig voneinander durchgefuhrt werden. Wegen des 
steroskopischen Sehens beider Augen wird in dem letzteren Fall eine 
dreidimensionale Bildaufiiahme und Bildwiedergabe realisiert. 

Es ist nicht ohne weiteres verstandlich, dafi die Aufhahme eines fehler- und 
verzeichungsfreien Reflexbildes der Umgebung von der Netzhaut iiber eine 
Brille, die weder in ihren optischen Eigenschaften individuell an jeden 
Betrachter angepaflt, noch vollstandig stabil sitzend auf dem Kopf des 
Betrachters sein kann. Die LQsung hierzu im Sinne der Erfindung besteht 
erstens in der relativ geringen optischen Anforderungen an den seriellen 
konfokalen Punktscan gegeniiber z.B. einer flachenhaften Abbildung aus dem 
Auge, zweitens in der vollstandigen dynamischen Anpassung des optischen 
Strahlenganges des Scanners iiber die Brille in das Auge, die jedesmal die 
Eigenbewegungen des Auges und der Brille selbst beriicksichtigt, drittens in 
der exakten Ruckkehrung des Strahlenganges zwischen Aufhahme und 
Projektion und der kurzen Zeitdauer zwischen diesen Vorgangen. Zur 
Einstellung des Scan durch das Auge, auch bei den verschiedenen 
Augenbewegungen dienen zwei scannende Elemente und ein 
Korrekturspiegel der auch justierbar sein kann. Die Fig. 3 zeigt schematisch 
in Ubersicht das ganze System. Die Netzhaut des Auges NH wird mit dem 
fokussierten Strahl abgetastet. Hier stellt AA den Augapfel und AP die 
Augenpupille dar. Die teildurchlassige Brille ist hier mit BG bezeichnet. 

Die von der Umgebung durchgehenden Strahlen werden auf der Netzhaut 
fokussiert, gleichzeitig wird die Netzhaut punktuell abgetastet, wobei der 
Abtasstrahl in Transmission durch die Brille immer gegen eine 
Strahlungssenke schaut. Mit den zweiachsigen Abtastelementen HSS und 
VSS wird der Kreisscan durchgefuhrt. Mit dem Hilfsspiegel HS, der aktiv 
einstellbar sein kann, wird die Einfallsrichtung und Position des Strahles auf 
der Innenflache der Brille BG eingestellt. Mit dem Strahlumschalter SUS 
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kann entweder mit einer zentralen Bohrung der beleuchtende Laserstrahl 
durchgelassen werden und der Empfangsstrahl, der meist wesentlich 
groBeren Durchmesser hat in die Empfangseinheit reflektiert werden in 
getrennte Richtungen geleitet werden, oder es kann ein aktiv umschaltendes 
Spiegelelement verwendet werden das zwischen Empfang und Senden 
umschaltet. 

Die Empfangseinheit kann z.B. aus drei getrennten Empfangskanalen fur die 
Grundfarben Rot, Griin und Blau oder andere Wellenlangenbereiche z.B. im 
nahen Infrarotbereich bestehen. Der Strahlengang aller Spektralkanale wird 
mit Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. Zur Einstellung 
der FleckgroBe des Abtaststrahles auf der Netzhaut und zur eventuellen 
Feinkorrektur der optischen Achse dient eine aktiv justierbare 
Gesichtsfeldblende GFB. 

Die Sendeeinheit kann z.B. aus drei Lasern mit den Grundfarben Rot LR, 
Griin LG und Blau LB geschaffen sein. Vor der Strahlvereinigung auf einer 
Achse mit dichroitischen Spiegeln DS werden die Einzelnen Strahlen 
entweder extern mit Bildmodulatoren MR, MG und MB moduliert oder 
einfacher direkt uber den Anregungsstrom der Laseremission. Die GroBe und 
Lage des Laserabtastflecks auf der Netzhaut wird mit einer aktiv steuerbaren 
Blende LAA die im Zwischenfokus zweier Linsen im Strahlengang 
eingestellt wird. Als Empfanger fur die Abtastung der Netzhautreflexbildes 
sind z.B. Photomultiplier geeignet, die wechselweise bei sehr schwachen 
optischen Signalen in einen Photon-counting Betrieb und bei starken 
Signalen in einen StrommeBbetrieb automatisch Umschalten. Auch ist die 
Verwendung von Avalanche Photodioden als Empfanger moglich. 

Als Lichtquellen zur Riickprojektion der Bilder ins Auge sind Halbleiterlaser 
bzw. miniaturisierte Festkorperlaser vorgesehen mit einer niedriger 
Dauerstrichleistung (<300 |iW), die keine Gefahrdung des Auges 
verursachen konnen. Mit der Verwendung von Halbleiterlasern konnte die 
Bildmodulation direkt uber ihre Stromversorgung durchgefuhrt werden. 
Damit aller Farben erzeugt werden empfiehlt sich die Verwendung von drei 
Lasern mit den Grundfarben rot, grim und blau. Wie das bekannte 
Farbdreieck des menschlichen Gesichtsinnes zeigt konnen alle anderen 
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Farben sowie die Unfarben grau und weifi durch Farbsummation von 
monochromatischen Laserlinien dieser Farben gebildet werden. Die 
Erfindung beinhaltet auch die Moglichkeit der Verwendung von einzelnen 
Farben als monochromatische LSsung vor. 

Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal-Prozessor SP vor, 
der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle 
Funktionen der Vorrichtung sowie die von Scannern VSS/HSS, des 
Hilfsspiegels HS und Laserfleckeinsteliung LAA und Grofie der 
Gesichtsfeldblende GFB synchron koordiniert. Der 
Bildverarbeitungscomputer BVC iibernimmt dann die vom Auge 
wahrgenommenen Bild oder Bilder anderer technischer Sensoren, die uber 
einen externenen AnschluB EA dem Computer zugefuhrt werden und 
bearbeitet sie nach einer vorgegebenen Software S W, bevor sie mit Hilfe des 
Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden. In 
Fig. 4 sind der Flufi der optischen und elektrischen sowie der Softwaresignale 
getrennt dargestellt. Die komplette Lasereinheit wird mit DE bezeichnet, ME 
als Modulationseinheit und PME die komplette Empfangseinheit und SUS als 
der Strahlumschalter zwischen der Sende- und Empfangseinheit. 

Die Laser-Projektion ermoglicht aufier der Verarbeitung des aktuellen vom 
Computer verarbeitetes Bild in das Auge zu projizieren und mit dem 
Originalbild zu verschmelzen, auch Fremdbilder, die dem Computer von 
extern zugeleitet werden, dem AuBenbild im Auge synchron zu uberlagern. 
Wenn die Zeitspanne zwischen Bildaufhahme- und Projektion im Vergleich 
zu den schnellen Augebewegungen entsprechend kurz ist, wird das Auge, wie 
bei der Betrachtung eines Femsehschirmes, keine Bildunterbrechung mehr 
wahrnehmen. 

Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaBt auch 
die perspektivischen Unterschiede beider Bilder. Da diese bei der 
Laserzuriickprojektion in beiden Augen erhalten bleiben, ist eine 
Wiederherstellung des raumlichen Sehens gewahrleistet. 

Die in der Erfindung verwendeten Bauelemente sind heute weitgehend 
miniaturisiert und kostengunstig erhaltlich. Zum Scannen der Kreisfiguren 



WO 99/03013 



15 



PCT/DE98/01840 



konnen miniaturisierte Kippspiegel verwendet werden. Als zweite 
Moglichkeit zur Herstellung der Kreisfiguren bietet sich an die Verwendung 
von Keilplatten-Scannern, die fur einen Strahlengang in Transmission 
ausgelegt sind. Der durchgehende Strahl wird durch jede der Platten urn 
einen festen Winkel gebrochen, der gesamte Ablenkwinkel kann dann durch 
eine feste Drehung der Keilplatten gegeinander kontinuierlich bis Null 
eingestellt werden. Bei einer gemeinsamen Drehung der Keilplatten mit einer 
festen Drehfrequenz beschreibt der abgelenkte Strahl dann eine Kreisspur. 
Als dritte Moglichkeit bietet sich die Verwendung von akusto-optischen 
Ablenkeinheit, die den Vorteil der geringen Tragheit und der schnellen 
Ablenkung bieten. Der variabel einstellbare Hilfsspiegel HS wird 
vorzugsweise als einer mit Mikroaktorik in zwei Achsen einstellbarer Spiegel 
sein. 

Fiir die Einstellung des Laserfleckgrofie und des Empfangsgesichtsfeldes 
bieten sich vorzugsweise mikromechanische Aktoren wie z.B. in den 
weitverbreiteten Laser-Printer und CD-Plattenspielern auch verwendet 
werden. 

Die Strahlumlenkeinheit und Scanner konnen ein einem einfachen 
Brillengestell untergebracht werden. Mit Hilfe von Glasfaserleitung konnen 
Laserprojektionseinheit in einem kleinen Gehause z.B. in der GroBe eines 
Taschenbuches mit Betterieversorgung untergebracht werden. Der 
Datenaustausch mit einem extemen fest installierten Bildverabeitungsrechner 
kann entweder iibere Radiowellen oder Infrarotstrahle erfolgen. Alle 
Elemente der Vorrichtung der Erfmdung konnten nach dem heutigen Stand 
der Technik somit von einem Menschen miihelos getragen werden und der 
drahtlose Bilddatenaustausch mit dem extemen Rechner wurde seine 
unbeschrankte Bewegungsfreiheit ermoglichen. 

Wie in der fruheren Anmeldung der Erfinderin Nr. 19631414.3 kann dieser 
Art einer opto-elektronischen Brille in den verschiedensten Anwendung eine 
Verwendung finden: 

Aufhahme von Bildem der AuBenwelt, ihre Verarbeitung, Zuriickprojektion 
und Verschmelzung mit dem Originalbild im Auge wie z.B. zur 
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Sichtverbesserung beim Fahren eines Fahrzeug oder als Sehhilfe von 
Sehbehinderte 

Uberlagerung von Bildern anderer Aufhahmesysteme, z.B. in von der 
gleichen Szene in anderen Spektralbereichen auf das direkte Bild in gleichen 
Anwendungen wie heute oder zukunftig das Helmet-mounted-display 
verwendet wird 

Uberlagerung von virtuellen Bildem, die alleine vom Computer hergestellt 
werden, in gleichen oder zukunftigen Anwendungen der "virtual-reality" oder 
"cyberspace" Bildprojektion. 
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Pa ten ta nsp ruche 

1. Bildverbesserungssystem, bei dem das Reflexbild in Inneren des Auges 
abgetastet wird und nach Modifikation auf dem gleichen Weg in das Auge 
zuriickprojiziert wird nach Anmeldung Nr. 19631414.3, gekennzeichnet 
durch Verwendung eines Ellipsenscans. 

2. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
der Ellipsenscan durch Ermittlung der AuBenrander der Pupille zur 
Justierung und Zentrierung des Scannersy stems ohne weitere exteme 
Sensoren verwendet wird. 

3. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
das aufgenommene Bild mit dem zuriickprojizierten Bild zeitlich und ortlich 
synchronisiert wird. 

4. Bildverbesserungssystem nach Anspruch 2, dadurch gekennzeichnet, daB 
die Scandauer dynamisch an die Anforderung von Auflosung, 
ErfaBzeitbedarf und Belichtungszeit angepaBt wird. 

5. Bildverbesserungssystem nach Anspruch 4, dadurch gekennzeichnet, daB 
die GroBe des Abtastfleckens dynamisch entsprechend der Anforderung der 
Umgebungsbedingungen angepaBt wird. 

6. Bildverbesserungssystem nach einem der Anspriiche 4 oder 5, dadurch 
gekennzeichnet, daB der Spurabstand der Scanspuren dynamisch 
entsprechend der Anforderung der Umgebungsbedingungen angepaBt wird. 

7. Bildverbesserungssystem nach Ansprtichen 1 bis 6, dadurch 
gekennzeichnet, daB die GroBe des abgetasteten Bereichs entsprechend der 
Anforderungen des Anwendungsfalles angepaBt wird. 
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8. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystem 
aufgehellt wird und dann zuruckprojiziert wird. 

9. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, 
daB das aufgenommene Bild durch eine Projektion des Bildes bei einer 
anderen Wellenlange als es aufgenommen wurde und dadurch in einen 
anderen Lichtwellenlangenbereich transformiert wird. 

10. Bildverbesserungssystem nach Anspruch 1 und 9, dadurch 
gekennzeichnet, daB der Wellenbereich des aufgenommenen Bildes 
auBerhalb des Wahrnehmungsbereiches des Auges ausgewertet wird und in 
den sichtbaren Bereich transformiert wird. 

1 1 . Bildverbesserungssystem nach Anspruch 1 und 8, dadurch 
gekennzeichnet, daB das aufgenommene Bild so stark aufgehellt wird, daB 
die ursprunglich vom Auge erkennbare Schwarz-WeiB (Stabchensehen)- 
Information in eine Farbinformation transformiert wird (Zapfchensehen). 

12. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
das aufgenommene Bild durch Berechnen und Modulieren der Projektion 
tiber einen geeigneten Algorithmus (Fouriertransformation) so gescharft 
wird, daB Sehfehler des Auges ausgeglichen werden. 

13. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
fur die Justierung des Scannersystems ein extemer Sensor zur Ermittlung der 
Pupillenposition verwendet wird. 

14. Bildverbesserungssystem nach Anspruch 1 bis 13, dadurch 
gekennzeichnet, daB das aufgenommene Bild hinsichtlich des Bildinhaltes 
ausgewertet wird um externe Reaktionen und Steuerfunktionen zu aktivieren. 

15. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, 
daB die Bildinhalte beider Augen verglichen werden. 
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16. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, 
dafi die Position der Pupillen beider Augen verglichen wird. 

17. Bildverbesserungssystem nach Anspruch 15, dadurch gekennzeichnet, 
dafi der Bildinhalt der Forea Centralis beider Augen verglichen wird. 

18. Bildverbesserungssystem nach Anspruch 16 und 17, dadurch 
gekennzeichnet, daB die Position der Pupillen und Bildinhalte der Forea 
Centralis beider Augen zur Ermittlung der Sehachse verwendet werden fur 
Triangolation (Entfernungsbestimmung) 

19. Bildverbesserungssystem nach Anspruch 1 bis 18, dadurch 
gekennzeichnet, daB die Bildinformation des Auges verwendet wird um die 
absolute Helligkeit der Umgebung zu ermitteln. 

20. Bildverbesserungssystem nach Anspruch 19, dadurch gekennzeichnet, 
daB die Bildinformation des Auges verwendet wird um die absolute 
Farbtemperatur des Lichtes zu ermitteln. 

21. Bildverbesserungssystem nach Anspruch 1 und 2, dadurch 
gekennzeichnet, daB das System zur Ermittlung der PupillengroBe verwendet 
wird. 

22. Bildverbesserungssystem nach Anspruch 8, dadurch gekennzeichnet, daB 
das aufgenommene Bild durch ein nachgeschaltetes 
Bildverarbeitungssystems so aufgehellt wird, daB die physiologische 
Scheinempfindlichkeit in einen anderen weniger empfindlichen Bereich 
verschoben wird. 

23. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
der Ellipsenscan von aufien nach innen lauft. 

24. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daB 
der Ellipsenscan von innen nach auBen lauft. 
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25. Bildverbesserungssystem nach Anspruchl, dadurch gekennzeichnet, daB 
der Ellipsenscan durch Zusammenfallen der beiden Brennpunkte zu einem 
Kreisscan verandert wird. 
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